Sejarah penubuhan jabatan ini bermula sejak tahun 1903 apabila Pejabat Kajibumi diasaskan di Kuala Lumpur oleh pentadbiran British. Penubuhan awal Pejabat Kajibumi ialah untuk menjalankan aktiviti berkaitan kajibumi di Negeri-negeri Melayu Bersekutu iaitu Perak, Selangor, Negeri Sembilan dan Pahang.

• Pada tahun 1908, Pejabat Kajibumi dipindahkan ke Batu Gajah, Perak. Tujuan perpindahan ini ialah untuk kajian dan penyelidikan lapangan berikutan penemuan deposit bijih timah besar-besaran di Lembah Kinta.
• Pada tahun 1927, Pejabat Kajibumi dinaiktaraf menjadi Jabatan Penyiasatan Kajibumi Malaya. Aktiviti jabatan diperluaskan ke Negeri-negeri Melayu Tidak Bersekutu iaitu Perlis, Kedah, Kelantan, Terengganu dan Johor.
• Pada tahun 1957, Ibu pejabat Jabatan Penyiasatan Kajibumi Malaya dipindahkan ke Ipoh, Perak.
• Pada tahun 1963, nama jabatan ini ditukar kepada Jabatan Penyiasatan Kajibumi Malaysia Timur. Pada tahun ini juga Jabatan Penyiasatan Kajibumi Jajahan British Borneo ditukar nama kepada Jabatan Penyiasatan Kajibumi Wilayah Borneo.
• Pada tahun 1968, Jabatan Penyiasatan Kajibumi Malaysia Timur dan Jabatan Penyiasatan Kajibumi Malaysia Borneo digabungkan di bawah satu pentadbiran berpusat di Ipoh, Perak.
• Pada tahun 1973, ibu pejabat dipindahkan sekali lagi dari Ipoh, Perak ke Kuala Lumpur.
• Pada tahun 1999, jabatan ini bergabung dengan Jabatan Galian membentuk Jabatan Mineral Dan Geosains Malaysia (JMG).